一张草稿让AI做个想象中的CG(Stable Diffusion进阶篇:AI手稿到动画)
很多人可能都看过至少是听说过《三体》这本书吧,再不济也听说过《流浪地球》这部电影,作为中国科幻小说界的扛把子,刘慈欣老师描绘出的科幻世界给予了我无限的想象空间。
不知道有没有人刷B站或者抖音的时候会刷到类似这样的东西:
每年的Blender大赛中都会让参赛者们根据提供的模型和题目自由发挥创作,然后从中选取出100名最受认可的作品,例如这次2023年的《Boss战》主题中就有几个我个人比较喜欢的。 可以看出这些画风都不相同,但是都符合主题以小搏大的感觉。当然这些我只是单纯跟你们分享下,和今天的内容没特别大的关系,感兴趣的小伙伴可以去B站看看:【𝟒𝐊·𝐂𝐆视觉盛宴】2023年世界前100名《𝐁𝐨𝐬𝐬之战》3D渲染大赛作品集完整版!这是一场史诗级的巅峰对决(𝟑𝐃蒙太奇)_哔哩哔哩_bilibili
而今天要学习的是如何用一张草稿,结合Stable Diffusion和Blender来实现自己心中的科幻世界。
那这么久没写文章今天是得整个狠活了,坐稳了,要起飞了!
AI手稿转动画
这篇笔记的一些素材取自B站Up主:Nenly同学的最新一篇视频,毕竟画画什么的我也不擅长只是借用一下素材,具体操作我还是会自己来操作的。像是一些科幻作品或者科幻游戏中总会有那种宇宙舰队或者是超极空间站漂泊在广袤无垠的宇宙中,(不知道有没有了解战锤的)
像这种星际飞船也是我小时候的梦想,当然我现在也没那个水平可以自己绘画出来,所以就要借一下赵恩哲老师的草稿。 借由这张《虚空之舟》的草稿,接下来就来学习一下顶尖的插画师是如何进行概念美术加工的。
第一步:将概念草稿上传到StableDiffusion的图生图里
第二步:打开ControlNet插件并选择启用+完美像素模式+SoftEdge
ControlNet可以借由AI生成的图像特征控制AI生成的图片,而其中SoftEdge这种软边缘处理器很适合AI自行延展发挥,这样出来的图片可以用来指导AI之后要生成大概什么样的成品。
第三步:输入提示词并且选择合适的模型和Lora
正向提示词:lora:V1.1-17SciencefictioncityonMars:1, (((in outer space))),[[[[outer space]]]],(((the background of the universe))),(((the blue tone))),(((spacecraft))),((((a spaceship)))),(((spacecraft in space))),scenery,no humans,science fiction,cloud,outdoors,night,3d effects,render quality,8k,the texture of metal,3d rendering effects,spaceship,high-tech,prospect,moonlight,reflection,sacred,landscape,bright,fhd,4k,high-resolution,realistic,surrealistic,super wide angle shot,canon 5d,v-ray,quixel megascans render,sintane render
反向提示词:1girl,1boy,2girls,2boys,checkered,lowres,highres.absurdres,peak,the earth’s surface
模型选择的是Realistic Vision(云教室当中也有同款模型,可以直接选择使用): Lora选择的是Science fiction city On Mars:https://civitai.com/models/26578/xsarchitectural-17sciencefictioncityonmars
其余参数如下,可以根据自己的喜好调整: 然后点击生成! 一张充满科幻气息的星舰就诞生啦!至于怎么让星舰动起来,就不得不提到精品课当中学习到的Gen-2了。
点击Start with Image这里是用图片来作为参考,然后将图片放进去: 选择Image+Description用图片+提示词的方式生成动画,点击右下角的Generate等待其生成: 这样一艘宇宙飞船就从简单的草稿图变成一个小动画了!Runaway的图转动画一共就给25秒的试用时间用完就没了,真抠搜。
如果想要深入探索图片转视频这一功能的话,我倒知道一个东西。
之前提到的SVD也就是Stable Diffusion官方发布的图片转视频功能可以在Comfy UI里实现,后续将会继续发SVD的文章,记得回来哦。
部分素材参考来源:
手稿变动画,AI生成3D贴图,艺术家手里的Stable Diffusion把我惊呆了!SD进阶工作流分享,强势辅助插画线稿上色+Blender建模!_哔哩哔哩_bilibili赵恩哲ZEZ个人动态-赵恩哲ZEZ动态记录-哔哩哔哩视频 (bilibili.com)